<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   JinZhihui: LDA-math-LDA 文本建模  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2013/03/lda-math-lda-text-modeling/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466459914: Accept with keywords: (title(0.333333333333):门户网站,建模,统计学,服务平台,中国,文本, topn(0.5):上帝,概率,统计学,分布,数据挖掘,语料,游戏,工程师,过程,模型,文档,计算,文章,数学,参数,相互独立,结构,骰子,公式,编号,语义,建模,算法,篇文章,先验,科普,八卦,文本,共轭,物理).-->
 </head>
 <body class="single single-post postid-7384 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    JinZhihui: LDA-math-LDA 文本建模
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-7384 post type-post status-publish format-standard hentry category-data category-dmml tag-dirichlet-multinomial tag-gibbs tag-lda tag-656 tag-654 tag-65" id="post-7384">
        <header class="entry-header">
         <h1 class="entry-title">
          LDA-math-LDA 文本建模
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/" rel="bookmark" title="链向LDA-math-LDA 文本建模的固定链接">
            <time class="entry-date" datetime="2013-03-07T18:27:42+00:00">
             2013/03/07
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/data/" rel="category tag">
            数据分析
           </a>
           、
           <a href="http://cos.name/category/data/dmml/" rel="category tag">
            数据挖掘与机器学习
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/dirichlet-multinomial/" rel="tag">
            Dirichlet-Multinomial
           </a>
           、
           <a href="http://cos.name/tag/gibbs%e6%8a%bd%e6%a0%b7/" rel="tag">
            Gibbs抽样
           </a>
           、
           <a href="http://cos.name/tag/lda/" rel="tag">
            LDA
           </a>
           、
           <a href="http://cos.name/tag/%e4%b8%bb%e9%a2%98%e6%a8%a1%e5%9e%8b/" rel="tag">
            主题模型
           </a>
           、
           <a href="http://cos.name/tag/%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/" rel="tag">
            文本建模
           </a>
           、
           <a href="http://cos.name/tag/%e8%b4%9d%e5%8f%b6%e6%96%af/" rel="tag">
            贝叶斯
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/rickjin/" rel="author" title="查看所有由rickjin发布的文章">
            rickjin
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          <strong>
           5. LDA 文本建模
          </strong>
         </p>
         <p>
          <strong>
           5.1 游戏规则
          </strong>
         </p>
         <p>
          对于上述的 PLSA 模型，贝叶斯学派显然是有意见的，doc-topic 骰子$\overrightarrow{\theta}_m$和 topic-word 骰子$\overrightarrow{\varphi}_k$都是模型中的参数，参数都是随机变量，怎么能没有先验分布呢？于是，类似于对 Unigram Model 的贝叶斯改造， 我们也可以如下在两个骰子参数前加上先验分布从而把 PLSA 对应的游戏过程改造为一个贝叶斯的游戏过程。由于 $\overrightarrow{\varphi}_k$和$\overrightarrow{\theta}_m$都对应到多项分布，所以先验分布的一个好的选择就是Drichlet 分布，于是我们就得到了 LDA(Latent Dirichlet Allocation)模型。
         </p>
         <p style="text-align: center">
          <strong>
           <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-dice" rel="attachment wp-att-5311">
            <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-dice.jpg"/>
           </a>
           LDA模型
          </strong>
         </p>
         <p>
          在 LDA 模型中, 上帝是按照如下的规则玩文档生成的游戏的
         </p>
         <p style="text-align: left">
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/game-lda-1" rel="attachment wp-att-5308">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/game-lda-1.jpg"/>
          </a>
         </p>
         <p>
          <span id="more-7384">
          </span>
          假设语料库中有 $M$ 篇文档，所有的的word和对应的 topic 如下表示
          <br/>
          \begin{align*}
          <br/>
          \overrightarrow{\mathbf{w}} &amp; = (\overrightarrow{w}_1, \cdots, \overrightarrow{w}_M) \\
          <br/>
          \overrightarrow{\mathbf{z}} &amp; = (\overrightarrow{z}_1, \cdots, \overrightarrow{z}_M)
          <br/>
          \end{align*}
          <br/>
          其中， $\overrightarrow{w}_m$ 表示第$m$ 篇文档中的词， $\overrightarrow{z}_m$ 表示这些词对应的 topic 编号。
         </p>
         <p style="text-align: center">
          <strong>
           <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/word-topic-vector" rel="attachment wp-att-5310">
            <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/word-topic-vector.jpg"/>
           </a>
           语料生成过程中的 word 和 topic
          </strong>
         </p>
         <p>
          <strong>
           5.2 物理过程分解
          </strong>
         </p>
         <p>
          使用概率图模型表示， LDA 模型的游戏过程如图所示。
         </p>
         <p style="text-align: center">
          <strong>
           <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-graph-model" rel="attachment wp-att-5312">
            <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-graph-model.jpg"/>
           </a>
           LDA概率图模型表示
          </strong>
         </p>
         <p>
          这个概率图可以分解为两个主要的物理过程：
         </p>
         <ul>
          <li>
           $\overrightarrow{\alpha}\rightarrow \overrightarrow{\theta}_m \rightarrow z_{m,n}$, 这个过程表示在生成第$m$ 篇文档的时候，先从第一个坛子中抽了一个doc-topic 骰子 $\overrightarrow{\theta}_m$, 然后投掷这个骰子生成了文档中第 $n$ 个词的topic编号$z_{m,n}$；
          </li>
          <li>
           $\overrightarrow{\beta} \rightarrow \overrightarrow{\varphi}_k \rightarrow w_{m,n} | k=z_{m,n}$, 这个过程表示用如下动作生成语料中第$m$篇文档的第 $n$个词：在上帝手头的$K$ 个topic-word 骰子 $\overrightarrow{\varphi}_k$ 中，挑选编号为 $k=z_{m,n}$的那个骰子进行投掷，然后生成 word $w_{m,n}$；
          </li>
         </ul>
         <p>
          理解 LDA最重要的就是理解这两个物理过程。 LDA 模型在基于 $K$ 个 topic 生成语料中的 $M$ 篇文档的过程中， 由于是 bag-of-words 模型，有一些物理过程是相互独立可交换的。由此，
          <strong>
           LDA 生成模型中， $M$ 篇文档会对应于 $M$ 个独立的 Dirichlet-Multinomial 共轭结构； $K$ 个 topic 会对应于 $K$ 个独立的 Dirichlet-Multinomial 共轭结构
          </strong>
          。所以理解 LDA 所需要的所有数学就是理解 Dirichlet-Multiomail 共轭，其它都就是理解物理过程。现在我们进入细节， 来看看 LDA 模型是如何被分解为 $M+K$ 个Dirichlet-Multinomial 共轭结构的。
         </p>
         <p>
          由第一个物理过程，我们知道 $\overrightarrow{\alpha}\rightarrow \overrightarrow{\theta}_m \rightarrow \overrightarrow{z}_{m}$ 表示生成第 $m$ 篇文档中的所有词对应的topics，显然 $\overrightarrow{\alpha}\rightarrow \overrightarrow{\theta}_m $ 对应于 Dirichlet 分布， $\overrightarrow{\theta}_m \rightarrow \overrightarrow{z}_{m}$ 对应于 Multinomial 分布， 所以整体是一个 Dirichlet-Multinomial 共轭结构；
         </p>
         <p>
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-dir-mult-conjugate-1" rel="attachment wp-att-5319">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-dir-mult-conjugate-1.jpg"/>
          </a>
          <br/>
          前文介绍 Bayesian Unigram Model 的小节中我们对 Dirichlet-Multinomial 共轭结构做了一些计算。借助于该小节中的结论，我们可以得到
          <br/>
          $$ p(\overrightarrow{z}_m |\overrightarrow{\alpha}) = \frac{\Delta(\overrightarrow{n}_m+\overrightarrow{\alpha})}{\Delta(\overrightarrow{\alpha})} $$
          <br/>
          其中 $\overrightarrow{n}_m = (n_{m}^{(1)}, \cdots, n_{m}^{(K)})$， $n_{m}^{(k)}$ 表示第$m$篇文档中第$k$ 个topic 产生的词的个数。进一步，利用 Dirichlet-Multiomial 共轭结构，我们得到参数 $\overrightarrow{\theta}_m$ 的后验分布恰好是
          <br/>
          $$Dir(\overrightarrow{\theta}_m| \overrightarrow{n}_m + \overrightarrow{\alpha}).$$
         </p>
         <p>
          由于语料中 $M$篇文档的 topics 生成过程相互独立，所以我们得到 $M$ 个相互独立的 Dirichlet-Multinomial 共轭结构，从而我们可以得到整个语料中 topics 生成概率
          <br/>
          \begin{align}
          <br/>
          \label{corpus-topic-prob}
          <br/>
          p(\overrightarrow{\mathbf{z}} |\overrightarrow{\alpha}) &amp; = \prod_{m=1}^M p(\overrightarrow{z}_m |\overrightarrow{\alpha}) \notag \\
          <br/>
          &amp;= \prod_{m=1}^M \frac{\Delta(\overrightarrow{n}_m+\overrightarrow{\alpha})}{\Delta(\overrightarrow{\alpha})} \quad\quad  (*)
          <br/>
          \end{align}
         </p>
         <p>
          目前为止，我们由$M$篇文档得到了 $M$ 个 Dirichlet-Multinomial 共轭结构，还有额外$K$ 个 Dirichlet-Multinomial 共轭结构在哪儿呢？在上帝按照之前的规则玩 LDA 游戏的时候，上帝是先完全处理完成一篇文档，再处理下一篇文档。文档中每个词的生成都要抛两次骰子，第一次抛一个doc-topic骰子得到 topic, 第二次抛一个topic-word骰子得到 word，每次生成每篇文档中的一个词的时候这两次抛骰子的动作是紧邻轮换进行的。如果语料中一共有 $N$ 个词，则上帝一共要抛 $2N$次骰子，轮换的抛doc-topic骰子和 topic-word骰子。但实际上有一些抛骰子的顺序是可以交换的，我们可以等价的调整$2N$次抛骰子的次序：前$N$次只抛doc-topic骰子得到语料中所有词的 topics,然后基于得到的每个词的 topic 编号，后$N$次只抛topic-word骰子生成 $N$ 个word。于是上帝在玩 LDA 游戏的时候，可以等价的按照如下过程进行：
         </p>
         <p>
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/game-lda-2" rel="attachment wp-att-5309">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/game-lda-2.jpg"/>
          </a>
         </p>
         <p>
          以上游戏是先生成了语料中所有词的 topic, 然后对每个词在给定 topic 的条件下生成 word。在语料中所有词的 topic 已经生成的条件下，任何两个 word 的生成动作都是可交换的。于是我们把语料中的词进行交换，把具有相同 topic 的词放在一起
         </p>
         <p>
          \begin{align*}
          <br/>
          \overrightarrow{\mathbf{w}}’ &amp;= (\overrightarrow{w}_{(1)}, \cdots, \overrightarrow{w}_{(K)}) \\
          <br/>
          \overrightarrow{\mathbf{z}}’ &amp;= (\overrightarrow{z}_{(1)}, \cdots, \overrightarrow{z}_{(K)})
          <br/>
          \end{align*}
          <br/>
          其中，$\overrightarrow{w}_{(k)}$ 表示这些词都是由第 $k$ 个 topic 生成的， $\overrightarrow{z}_{(k)}$ 对应于这些词的 topic 编号，所以$\overrightarrow{z}_{(k)}$中的分量都是$k$。
         </p>
         <p>
          对应于概率图中的第二个物理过程 $\overrightarrow{\beta} \rightarrow \overrightarrow{\varphi}_k \rightarrow w_{m,n} | k=z_{m,n}$，在 $k=z_{m,n}$ 的限制下，语料中任何两个由 topic $k$ 生成的词都是可交换的，即便他们不再同一个文档中，所以我们此处不再考虑文档的概念，转而考虑由同一个 topic 生成的词。考虑如下过程 $\overrightarrow{\beta} \rightarrow \overrightarrow{\varphi}_k \rightarrow \overrightarrow{w}_{(k)}$ ，容易看出， 此时 $\overrightarrow{\beta} \rightarrow \overrightarrow{\varphi}_k $ 对应于 Dirichlet 分布， $ \overrightarrow{\varphi}_k \rightarrow \overrightarrow{w}_{(k)}$ 对应于 Multinomial 分布， 所以整体也还是一个 Dirichlet-Multinomial 共轭结构；
         </p>
         <p>
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-dir-mult-conjugate-2" rel="attachment wp-att-5318">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-dir-mult-conjugate-2.jpg"/>
          </a>
          <br/>
          同样的，我们可以得到
          <br/>
          $$ p(\overrightarrow{w}_{(k)} |\overrightarrow{\beta}) = \frac{\Delta(\overrightarrow{n}_k+\overrightarrow{\beta})}{\Delta(\overrightarrow{\beta})} $$
          <br/>
          其中 $\overrightarrow{n}_k = (n_{k}^{(1)}, \cdots, n_{k}^{(V)})$， $n_{k}^{(t)}$ 表示第$k$ 个topic 产生的词中 word $t$的个数。进一步，利用 Dirichlet-Multiomial 共轭结构，我们得到参数 $ \overrightarrow{\varphi}_k$ 的后验分布恰好是
          <br/>
          $$Dir( \overrightarrow{\varphi}_k| \overrightarrow{n}_k + \overrightarrow{\beta}).$$
          <br/>
          而语料中 $K$个 topics 生成words 的过程相互独立，所以我们得到 $K$ 个相互独立的 Dirichlet-Multinomial 共轭结构，从而我们可以得到整个语料中词生成概率
          <br/>
          \begin{align}
          <br/>
          \label{corpus-word-prob}
          <br/>
          p(\overrightarrow{\mathbf{w}} |\overrightarrow{\mathbf{z}},\overrightarrow{\beta}) &amp;= p(\overrightarrow{\mathbf{w}}’ |\overrightarrow{\mathbf{z}}’,\overrightarrow{\beta}) \notag \\
          <br/>
          &amp;= \prod_{k=1}^K p(\overrightarrow{w}_{(k)} | \overrightarrow{z}_{(k)}, \overrightarrow{\beta}) \notag \\
          <br/>
          &amp;= \prod_{k=1}^K \frac{\Delta(\overrightarrow{n}_k+\overrightarrow{\beta})}{\Delta(\overrightarrow{\beta})}  \quad\quad (**)
          <br/>
          \end{align}
         </p>
         <p>
          结合 (*)  和 (**) 于是我们得到
          <br/>
          \begin{align}
          <br/>
          \label{lda-corpus-likelihood}
          <br/>
          p(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{z}} |\overrightarrow{\alpha}, \overrightarrow{\beta}) &amp;=
          <br/>
          p(\overrightarrow{\mathbf{w}} |\overrightarrow{\mathbf{z}}, \overrightarrow{\beta}) p(\overrightarrow{\mathbf{z}} |\overrightarrow{\alpha}) \notag \\
          <br/>
          &amp;= \prod_{k=1}^K \frac{\Delta(\overrightarrow{n}_k+\overrightarrow{\beta})}{\Delta(\overrightarrow{\beta})}
          <br/>
          \prod_{m=1}^M \frac{\Delta(\overrightarrow{n}_m+\overrightarrow{\alpha})}{\Delta(\overrightarrow{\alpha})}  \quad\quad (***)
          <br/>
          \end{align}
         </p>
         <p>
          此处的符号表示稍微不够严谨, 向量 $\overrightarrow{n}_k$, $\overrightarrow{n}_m$ 都用 $n$ 表示， 主要通过下标进行区分， $k$ 下标为 topic 编号, $m$ 下标为文档编号。
         </p>
         <p>
          <strong>
           5.3 Gibbs Sampling
          </strong>
         </p>
         <p>
          有了联合分布 $p(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{z}})$, 万能的 MCMC 算法就可以发挥作用了！于是我们可以考虑使用 Gibbs Sampling 算法对这个分布进行采样。当然由于 $\overrightarrow{\mathbf{w}}$ 是观测到的已知数据，只有 $\overrightarrow{\mathbf{z}}$是隐含的变量，所以我们真正需要采样的是分布 $p(\overrightarrow{\mathbf{z}}|\overrightarrow{\mathbf{w}})$。在 Gregor Heinrich 那篇很有名的LDA 模型科普文章
          <em>
           Parameter estimation for text analysis
          </em>
          中，是基于 (***) 式推导 Gibbs Sampling 公式的。此小节中我们使用不同的方式，主要是基于 Dirichlet-Multinomial 共轭来推导 Gibbs Sampling 公式，这样对于理解采样中的概率物理过程有帮助。
         </p>
         <p>
          语料库$\overrightarrow{\mathbf{z}}$ 中的第$i$个词我们记为$z_i$, 其中$i=(m,n)$是一个二维下标，对应于第$m$篇文档的第 $n$个词，我们用 $\neg i$ 表示去除下标为$i$的词。那么按照 Gibbs Sampling 算法的要求，我们要求得任一个坐标轴 $i$ 对应的条件分布 $p(z_i = k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}})$ 。假设已经观测到的词 $w_i = t$, 则由贝叶斯法则，我们容易得到
          <br/>
          \begin{align*}
          <br/>
          p(z_i = k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}) \propto
          <br/>
          p(z_i = k, w_i = t |\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i}) \\
          <br/>
          \end{align*}
          <br/>
          由于$z_i = k, w_i = t$ 只涉及到第 $m$ 篇文档和第$k$个 topic，所以上式的条件概率计算中, 实际上也只会涉及到如下两个Dirichlet-Multinomial 共轭结构
         </p>
         <ol>
          <li>
           $\overrightarrow{\alpha} \rightarrow \overrightarrow{\theta}_m \rightarrow \overrightarrow{z}_{m}$
          </li>
          <li>
           $\overrightarrow{\beta} \rightarrow \overrightarrow{\varphi}_k \rightarrow \overrightarrow{w}_{(k)}$
          </li>
         </ol>
         <p>
          其它的 $M+K-2$ 个 Dirichlet-Multinomial 共轭结构和$z_i = k, w_i = t$是独立的。
         </p>
         <p>
          由于在语料去掉第$i$ 个词对应的 $(z_i, w_i)$，并不改变我们之前讨论的 $M+K$ 个 Dirichlet-Multinomial 共轭结构，只是某些地方的计数会减少。所以$\overrightarrow{\theta}_m, \overrightarrow{\varphi}_k$ 的后验分布都是 Dirichlet:
         </p>
         <p>
          \begin{align*}
          <br/>
          p(\overrightarrow{\theta}_m|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          &amp;= Dir(\overrightarrow{\theta}_m| \overrightarrow{n}_{m,\neg i} + \overrightarrow{\alpha}) \\
          <br/>
          p(\overrightarrow{\varphi}_k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          &amp;= Dir( \overrightarrow{\varphi}_k| \overrightarrow{n}_{k，\neg i} + \overrightarrow{\beta})
          <br/>
          \end{align*}
         </p>
         <p>
          使用上面两个式子，把以上想法综合一下，我们就得到了如下的 Gibbs Sampling 公式的推导
         </p>
         <p>
          =
          <br/>
          =
          <br/>
          =
          <br/>
          =
          <br/>
          =
          <br/>
          =
          <br/>
          =
         </p>
         <p>
          \begin{align*}
          <br/>
          p(z_i = k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}) &amp; \propto
          <br/>
          p(z_i = k, w_i = t |\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i}) \\
          <br/>
          &amp;= \int p(z_i = k, w_i = t, \overrightarrow{\theta}_m,\overrightarrow{\varphi}_k |
          <br/>
          \overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i}) d \overrightarrow{\theta}_m d \overrightarrow{\varphi}_k \\
          <br/>
          &amp;= \int p(z_i = k, \overrightarrow{\theta}_m|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          \cdot p(w_i = t, \overrightarrow{\varphi}_k | \overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          d \overrightarrow{\theta}_m d \overrightarrow{\varphi}_k \\
          <br/>
          &amp;= \int p(z_i = k |\overrightarrow{\theta}_m) p(\overrightarrow{\theta}_m|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          \cdot p(w_i = t |\overrightarrow{\varphi}_k) p(\overrightarrow{\varphi}_k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}_{\neg i})
          <br/>
          d \overrightarrow{\theta}_m d \overrightarrow{\varphi}_k \\
          <br/>
          &amp;= \int p(z_i = k |\overrightarrow{\theta}_m) Dir(\overrightarrow{\theta}_m| \overrightarrow{n}_{m,\neg i} + \overrightarrow{\alpha}) d \overrightarrow{\theta}_m \\
          <br/>
          &amp; \hspace{0.2cm} \cdot \int p(w_i = t |\overrightarrow{\varphi}_k) Dir( \overrightarrow{\varphi}_k| \overrightarrow{n}_{k,\neg i} + \overrightarrow{\beta}) d \overrightarrow{\varphi}_k \\
          <br/>
          &amp;= \int \theta_{mk} Dir(\overrightarrow{\theta}_m| \overrightarrow{n}_{m,\neg i} + \overrightarrow{\alpha}) d \overrightarrow{\theta}_m
          <br/>
          \cdot \int \varphi_{kt} Dir( \overrightarrow{\varphi}_k| \overrightarrow{n}_{k,\neg i} + \overrightarrow{\beta}) d \overrightarrow{\varphi}_k \\
          <br/>
          &amp;= E(\theta_{mk}) \cdot E(\varphi_{kt}) \\
          <br/>
          &amp;= \hat{\theta}_{mk} \cdot \hat{\varphi}_{kt} \\
          <br/>
          \label{gibbs-sampling-deduction}
          <br/>
          \end{align*}
         </p>
         <p>
          以上推导估计是整篇文章中最复杂的数学了，表面上看上去复杂，但是推导过程中的概率物理意义是简单明了的：
          <strong>
           $z_i = k, w_i = t $的概率只和两个 Dirichlet-Multinomial 共轭结构关联
          </strong>
          。而最终得到的 $\hat{\theta}_{mk}, \hat{\varphi}_{kt}$ 就是对应的两个 Dirichlet 后验分布在贝叶斯框架下的参数估计。借助于前面介绍的Dirichlet 参数估计的公式 ，我们有
          <br/>
          \begin{align*}
          <br/>
          \hat{\theta}_{mk} &amp;= \frac{n_{m,\neg i}^{(k)} + \alpha_k}{\sum_{k=1}^K (n_{m,\neg i}^{(k)} + \alpha_k)} \\
          <br/>
          \hat{\varphi}_{kt} &amp;= \frac{n_{k,\neg i}^{(t)} + \beta_t}{\sum_{t=1}^V (n_{k,\neg i}^{(t)} + \beta_t)}
          <br/>
          \end{align*}
          <br/>
          于是，我们最终得到了 LDA 模型的 Gibbs Sampling 公式
          <br/>
          \begin{equation}
          <br/>
          \label{gibbs-sampling}
          <br/>
          p(z_i = k|\overrightarrow{\mathbf{z}}_{\neg i}, \overrightarrow{\mathbf{w}}) \propto
          <br/>
          \frac{n_{m,\neg i}^{(k)} + \alpha_k}{\sum_{k=1}^K (n_{m,\neg i}^{(k)} + \alpha_k)}
          <br/>
          \cdot \frac{n_{k,\neg i}^{(t)} + \beta_t}{\sum_{t=1}^V (n_{k,\neg i}^{(t)} + \beta_t)}
          <br/>
          \end{equation}
         </p>
         <p>
          这个公式是很漂亮的， 右边其实就是 $p(topic|doc) \cdot p(word|topic)$，这个概率其实是 $doc \rightarrow topic \rightarrow word$ 的路径概率，由于topic 有$K$ 个，所以 Gibbs Sampling 公式的物理意义其实就是在这$K$ 条路径中进行采样。
         </p>
         <p style="text-align: center">
          <strong>
           <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/gibbs-path-search" rel="attachment wp-att-5313">
            <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/gibbs-path-search.jpg"/>
           </a>
           doc-topic-word 路径概率
          </strong>
         </p>
         <p>
          <strong>
           5.4 Training and Inference
          </strong>
         </p>
         <p>
          有了 LDA 模型，当然我们的目标有两个
         </p>
         <ul>
          <li>
           估计模型中的参数 $\overrightarrow{\varphi}_1, \cdots, \overrightarrow{\varphi}_K$ 和 $\overrightarrow{\theta}_1, \cdots, \overrightarrow{\theta}_M$；
          </li>
          <li>
           对于新来的一篇文档$doc_{new}$，我们能够计算这篇文档的 topic 分布$\overrightarrow{\theta}_{new}$。
          </li>
         </ul>
         <p>
          有了 Gibbs Sampling 公式， 我们就可以基于语料训练 LDA 模型，并应用训练得到的模型对新的文档进行 topic 语义分析。训练的过程就是获取语料中的 $(z,w)$ 的样本，而模型中的所有的参数都可以基于最终采样得到的样本进行估计。训练的流程很简单:
         </p>
         <p>
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-training" rel="attachment wp-att-5314">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-training.jpg"/>
          </a>
         </p>
         <p>
          对于 Gibbs Sampling 算法实现的细节，请参考 Gregor Heinrich 的
          <em>
           Parameter estimation for text analysis
          </em>
          中对算法的描述，以及 PLDA(http://code.google.com/p/plda) 的代码实现，此处不再赘述。
         </p>
         <p>
          由这个topic-word 频率矩阵我们可以计算每一个$p(word|topic)$概率，从而算出模型参数$\overrightarrow{\varphi}_1, \cdots, \overrightarrow{\varphi}_K$, 这就是上帝用的 $K$ 个 topic-word 骰子。当然，语料中的文档对应的骰子参数 $\overrightarrow{\theta}_1, \cdots, \overrightarrow{\theta}_M$ 在以上训练过程中也是可以计算出来的，只要在 Gibbs Sampling 收敛之后，统计每篇文档中的 topic 的频率分布，我们就可以计算每一个 $p(topic|doc)$ 概率，于是就可以计算出每一个$\overrightarrow{\theta}_m$。由于参数$\overrightarrow{\theta}_m$ 是和训练语料中的每篇文档相关的，对于我们理解新的文档并无用处，所以工程上最终存储 LDA 模型时候一般没有必要保留。通常，在 LDA 模型训练的过程中，我们是取 Gibbs Sampling 收敛之后的 $n$ 个迭代的结果进行平均来做参数估计，这样模型质量更高。
         </p>
         <p>
          有了 LDA 的模型，对于新来的文档 $doc_{new}$, 我们如何做该文档的 topic 语义分布的计算呢？基本上 inference 的过程和 training 的过程完全类似。对于新的文档， 我们只要认为 Gibbs Sampling 公式中的 $\hat{\varphi}_{kt}$ 部分是稳定不变的，是由训练语料得到的模型提供的，所以采样过程中我们只要估计该文档的 topic 分布$\overrightarrow{\theta}_{new}$就好了。
         </p>
         <p>
          <a href="http://www.52nlp.cn/lda-math-lda-%e6%96%87%e6%9c%ac%e5%bb%ba%e6%a8%a1/lda-inference" rel="attachment wp-att-5315">
           <img src="http://www.52nlp.cn/wp-content/uploads/2013/02/lda-inference.jpg"/>
          </a>
          <br/>
          <strong>
           6. 后记
          </strong>
         </p>
         <p>
          LDA 对于专业做机器学习的兄弟而言，只能算是一个简单的Topic Model。但是对于互联网中做数据挖掘、语义分析的工程师，LDA 的门槛并不低。 LDA 典型的属于这样一种机器学习模型：要想理解它，需要比较多的数学背景，要在工程上进行实现，却相对简单。 Gregor Heinrich 的LDA 模型科普文章
          <em>
           Parameter estimation for text analysis
          </em>
          写得非常的出色，这是学习 LDA 的必看文章。不过即便是这篇文章，对于工程师也是有门槛的。我写的这个科普最好对照 Gregor Heinrich 的这篇文章来看， 我用的数学符号也是尽可能和这篇文章保持一致。
         </p>
         <p>
          这份LDA 科普是基于给组内兄弟做报告的 ppt 整理而成的，说是科普其实也不简单，涉及到的数学还是太多。在工业界也混了几年，经常感觉到工程师对于学术界的玩的模型有很强的学习和尝试的欲望，只是学习成本往往太高。所以我写 LDA 的初衷就是写给工业界的工程师们看的，希望把学术界玩的一些模型用相对通俗的方式介绍给工程师；如果这个科普对于读研究生的一些兄弟姐妹也有所启发，只能说那是一个 side effect :-)。
         </p>
         <p>
          我个人很喜欢LDA ，它是在文本建模中一个非常优雅的模型，相比于很多其它的贝叶斯模型， LDA 在数学推导上简洁优美。学术界自 2003 年以来也输出了很多基于LDA 的 Topic Model 的变体，要想理解这些更加高级的 Topic Model, 首先需要很好的理解标准的 LDA 模型。在工业界， Topic Model 在 Google、Baidu 等大公司的产品的语义分析中都有着重要的应用；所以Topic Model 对于工程师而言，这是一个很有应用价值、值得学习的模型。我接触 Topic Model 的时间不长，主要是由于2年前和 PLDA 的作者 Wangyi 一起合作的过程中，从他身上学到了很多 Topic Model 方面的知识。关于 LDA 的相关知识，其实可以写的还有很多：如何提高 LDA Gibbs Sampling 的速度、如何优化超参数、如何做大规模并行化、LDA 的应用、LDA 的各种变体…… 不过我的主要目标还是科普如何理解标准的LDA 模型。
         </p>
         <p>
          学习一个模型的时候我喜欢追根溯源，常常希望把模型中的每一个数学推导的细节搞明白，把公式的物理意义想清楚，不过数学推导本身并不是我想要的，把数学推导还原为物理过程才是我乐意做的事。最后引用一下物理学家费曼的名言结束 LDA 的数学科普：
         </p>
         <p style="text-align: center">
          <em>
           <strong>
            What I cannot create, I do not understand.
           </strong>
          </em>
          <br/>
          <em>
           <strong>
            — Richard Feynman
           </strong>
          </em>
         </p>
         <p>
          <em>
           <strong>
            LDA数学八卦
           </strong>
          </em>
         </p>
         <p>
          <em>
           LDA-math 的汇总， “LDA数学八卦.pdf” 我整理贴出来了， 希望对大家理解 LDA 有帮助。 文章标题挂上“八卦”两字， 因为八卦意味着形式自由、不拘束、可以天马行空，细节处理上也难免有不严谨的地方；当然我也希望八卦是相对容易理解的。
          </em>
         </p>
         <p>
          <a href="http://vdisk.weibo.com/s/q0sGh/1360334108?utm_source=weibolife">
           LDA数学八卦.pdf 下载
          </a>
         </p>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2013/03/lda-math-text-modeling/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          LDA-math-文本建模
         </a>
         <a href="http://cos.name/2013/03/interview-of-xiaolinglu/" rel="next">
          COS访谈第一期：吕晓玲
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          LDA-math-LDA 文本建模
         </span>
         》有21个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1 parent" id="comment-3788">
          <article class="comment-body" id="div-comment-3788">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/fad61878196f82fd7bfbc8085ceb2a3d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.weibo.com/u/2002637071" rel="external nofollow">
               chu
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-3788">
              <time datetime="2013-03-09T06:56:35+00:00">
               2013/03/09 06:56
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             前排留名。等了好久终于等到了LDA。
             <br/>
             为同学们节约搜索时间，plsa的连接如下
             <br/>
             <a href="http://cs.brown.edu/~th/papers/Hofmann-UAI99.pdf" rel="nofollow">
              http://cs.brown.edu/~th/papers/Hofmann-UAI99.pdf
             </a>
             <br/>
             Blei的LDA也有简单的review PLSA，unigram model
             <br/>
             <a href="http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf" rel="nofollow">
              http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf
             </a>
             <br/>
             08年Blei同学来了次回锅肉，把lda改进改进。在LDA里，topic之间是独立的，但是有时候应该是有影响的；所以，换另一个先验分布
             <br/>
             <a href="http://www.cs.cmu.edu/~lafferty/pub/ctm.pdf" rel="nofollow">
              http://www.cs.cmu.edu/~lafferty/pub/ctm.pdf
             </a>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给chu" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=3788#respond" onclick='return addComment.moveForm( "div-comment-3788", "3788", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-7142">
            <article class="comment-body" id="div-comment-7142">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/3745e08296cdfc19f527ab075fbd99ed?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a" rel="external nofollow">
                 alphago
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-7142">
                <time datetime="2016-04-09T06:04:39+00:00">
                 2016/04/09 06:04
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               其实还有一本书对LDA写的也很好更系统，还讲了其他资料没有的“变分推断”，这本书叫《LDA漫游指南》，希望能对你有用
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给alphago" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=7142#respond" onclick='return addComment.moveForm( "div-comment-7142", "7142", "respond", "7384" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
           <li class="comment even depth-2" id="comment-7143">
            <article class="comment-body" id="div-comment-7143">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/3745e08296cdfc19f527ab075fbd99ed?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a" rel="external nofollow">
                 alphago
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-7143">
                <time datetime="2016-04-09T06:07:51+00:00">
                 2016/04/09 06:07
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               其实还有一本书对LDA写的更好更系统，还讲了其他资料没有的“变分推断”，这本书叫《LDA漫游指南》，http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a
               <br/>
               这位作者写的非常艰辛，放在百度阅读上供大家分享给大家阅读。你也可以去看看，希望对你有帮助
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给alphago" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=7143#respond" onclick='return addComment.moveForm( "div-comment-7143", "7143", "respond", "7384" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-3795">
          <article class="comment-body" id="div-comment-3795">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/5949fb4a24dfd8119aadd2970b357e44?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              liutiejun
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-3795">
              <time datetime="2013-03-10T23:22:20+00:00">
               2013/03/10 23:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这几篇和LDA相关的文章写得确实是太好了，简单易懂！！！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给liutiejun" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=3795#respond" onclick='return addComment.moveForm( "div-comment-3795", "3795", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-3802">
          <article class="comment-body" id="div-comment-3802">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/3a533f137f59a2d98f9444828335720d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.cofffeewind.com" rel="external nofollow">
               林风琦
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-3802">
              <time datetime="2013-03-11T14:57:48+00:00">
               2013/03/11 14:57
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的太好了，收益匪浅
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给林风琦" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=3802#respond" onclick='return addComment.moveForm( "div-comment-3802", "3802", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-4126">
          <article class="comment-body" id="div-comment-4126">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1a3450c63a6b2c4deb4b654b34c6ea66?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              unluckwin
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-4126">
              <time datetime="2013-04-30T22:32:16+00:00">
               2013/04/30 22:32
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这5篇文章的系列实在太好了 支持作者 我仔细拜读
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给unluckwin" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=4126#respond" onclick='return addComment.moveForm( "div-comment-4126", "4126", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-4165">
          <article class="comment-body" id="div-comment-4165">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/436174399b7aaeb22c666bc623015a5c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.puddingnnn.com" rel="external nofollow">
               pudding
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-4165">
              <time datetime="2013-05-06T19:52:19+00:00">
               2013/05/06 19:52
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             有朝一日希望老师介绍一下topicmodels包里的VEM方法和CTM方法~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给pudding" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=4165#respond" onclick='return addComment.moveForm( "div-comment-4165", "4165", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-4377">
          <article class="comment-body" id="div-comment-4377">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6acec4b95fd92bd7ada856461e3d3fc7?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              taylor
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-4377">
              <time datetime="2013-06-11T21:46:14+00:00">
               2013/06/11 21:46
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             请问 为什么 α→θm 对应于 Dirichlet 分布？在5.2中的alpha和beta的向量分别代表什么意义呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给taylor" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=4377#respond" onclick='return addComment.moveForm( "div-comment-4377", "4377", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-4429">
          <article class="comment-body" id="div-comment-4429">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/09296feaccda884aef326b5c01d0fabc?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              vector
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-4429">
              <time datetime="2013-06-21T17:30:48+00:00">
               2013/06/21 17:30
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             太棒了
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给vector" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=4429#respond" onclick='return addComment.moveForm( "div-comment-4429", "4429", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-odd thread-alt depth-1" id="comment-4553">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.puddingnnn.com/%e5%be%ae%e5%8d%9a%e5%90%8d%e4%ba%ba%e7%9a%84%e9%82%a3%e4%ba%9b%e4%ba%8b%e5%84%bf/" rel="external nofollow">
            微博名人的那些事儿 | 他山
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-4675">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2013/08/%e5%be%ae%e5%8d%9a%e5%90%8d%e4%ba%ba%e9%82%a3%e4%ba%9b%e4%ba%8b%e5%84%bf/" rel="external nofollow">
            微博名人那些事儿 | 统计之都
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-4815">
          <article class="comment-body" id="div-comment-4815">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/4ac05583ec477e1fed80a23e8c2eca67?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              yu
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-4815">
              <time datetime="2013-09-08T11:32:37+00:00">
               2013/09/08 11:32
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很棒，赞！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给yu" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=4815#respond" onclick='return addComment.moveForm( "div-comment-4815", "4815", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-5113">
          <article class="comment-body" id="div-comment-5113">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/Elanafu" rel="external nofollow">
               傅颖
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-5113">
              <time datetime="2013-11-22T11:28:35+00:00">
               2013/11/22 11:28
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             博主，请问您还记不记得哪篇文章中有提到BETA=0.01; ALPHA=50/T; 以及迭代次数的一个经验值范围。我现在在写论文需要一个理论支撑，但是一直找不到那文章。不知道您可不可以帮忙？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给傅颖" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=5113#respond" onclick='return addComment.moveForm( "div-comment-5113", "5113", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-5413">
            <article class="comment-body" id="div-comment-5413">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/3799359120" rel="external nofollow">
                 张萌_MengZhang
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-5413">
                <time datetime="2014-03-07T00:55:31+00:00">
                 2014/03/07 00:55
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               <a href="http://psiexp.ss.uci.edu/research/papers/sciencetopics.pdf" rel="nofollow">
                http://psiexp.ss.uci.edu/research/papers/sciencetopics.pdf
               </a>
               他们用了 Beta = 0.1 ALPHA = 50 / T
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给张萌_MengZhang" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=5413#respond" onclick='return addComment.moveForm( "div-comment-5413", "5413", "respond", "7384" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5531">
          <article class="comment-body" id="div-comment-5531">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/wb571184414" rel="external nofollow">
               吴智勇
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-5531">
              <time datetime="2014-04-16T11:31:26+00:00">
               2014/04/16 11:31
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             模型的学习过程中 topic的数目是人工指定的?
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给吴智勇" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=5531#respond" onclick='return addComment.moveForm( "div-comment-5531", "5531", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6056">
          <article class="comment-body" id="div-comment-6056">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/whd2012" rel="external nofollow">
               汪华东
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-6056">
              <time datetime="2014-07-19T13:58:18+00:00">
               2014/07/19 13:58
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的挺好
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给汪华东" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=6056#respond" onclick='return addComment.moveForm( "div-comment-6056", "6056", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6123">
          <article class="comment-body" id="div-comment-6123">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/wyb457326" rel="external nofollow">
               圣洁水
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-6123">
              <time datetime="2014-08-07T21:11:59+00:00">
               2014/08/07 21:11
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             <img src="http://img.t.sinajs.cn/t35/style/images/common/face/ext/normal/d8/good_org.gif"/>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给圣洁水" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=6123#respond" onclick='return addComment.moveForm( "div-comment-6123", "6123", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-even depth-1" id="comment-6829">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://yulinli.sinaapp.com/?p=97" rel="external nofollow">
            LDA - Latent Dirichlet Allocation - moy的小黑屋
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-7141">
          <article class="comment-body" id="div-comment-7141">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/3745e08296cdfc19f527ab075fbd99ed?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a" rel="external nofollow">
               alphago
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-7141">
              <time datetime="2016-04-09T06:03:37+00:00">
               2016/04/09 06:03
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             其实还有一本书对LDA写的更好更系统，还讲了其他资料没有的“变分推断”，这本书叫《LDA漫游指南》，http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a
             <br/>
             这位作者写的非常艰辛，放在百度阅读上供大家分享给大家阅读。希望楼主文章中提及，不要抹杀其他作者的辛勤工作
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给alphago" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=7141#respond" onclick='return addComment.moveForm( "div-comment-7141", "7141", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-7157">
          <article class="comment-body" id="div-comment-7157">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6f62c0677e313fb6bc3e3f0e59c95543?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              郭梓鑫
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-7157">
              <time datetime="2016-04-19T09:55:06+00:00">
               2016/04/19 09:55
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             LDA训练得到的模型参数，在inference的时候是怎么使用的？从Algorithm 7来看，好像inference过程没用到前面训练出来的topic-word频率矩阵。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给郭梓鑫" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=7157#respond" onclick='return addComment.moveForm( "div-comment-7157", "7157", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-7159">
          <article class="comment-body" id="div-comment-7159">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6f62c0677e313fb6bc3e3f0e59c95543?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              郭梓鑫
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#comment-7159">
              <time datetime="2016-04-19T09:57:25+00:00">
               2016/04/19 09:57
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             LDA训练得到的模型参数在inference的时候是怎么使用的？从Algorithm 7来看，inference过程貌似没有用到前面训练得到的topic-word共现频率矩阵。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给郭梓鑫" class="comment-reply-link" href="http://cos.name/2013/03/lda-math-lda-text-modeling/?replytocom=7159#respond" onclick='return addComment.moveForm( "div-comment-7159", "7159", "respond", "7384" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2013/03/lda-math-lda-text-modeling/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>